Tam Sơn là vùng quê hình thành từ lâu đời của đất Kinh Bắc. Sách Đại Nam nhất thống chí có ghi: "Núi Tam Sơn ở cách huyện Đông Ngàn 10 dặm về phía tây bắc, giữa đồng nổi lên ba ngọn núi hình như chuỗi hạt châu. Xã Tam Sơn nhân tên núi mà đặt". Xã Tam Sơn nổi tiếng với truyền thống khoa bảng, hiếu học. Đây là nơi duy nhất trong cả nước có đủ tam khôi trạng nguyên, bảng nhãn, thám hoa và 22 vị đỗ đại khoa.[3]

Ngày 12 tháng 1 năm 2021, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết 1191/NQ-UBTVQH14 về việc thành lập các phường thuộc thị xã Từ Sơn (nghị quyết có hiệu lực từ ngày 1 tháng 2 năm 2021)[1]. Theo đó, thành lập phường Tam Sơn trên cơ sở toàn bộ 8,45 km² diện tích tự nhiên và 16.279 người của xã Tam Sơn.